# -*- coding: utf-8 -*-
import requests as rq
import pandas as pd
from bs4 import BeautifulSoup as bs

save_data=[]#保存完整数据
#获取前面5页的信息
for page in range(1,6):
    #伪装浏览器
    header = {'User-Agent':'Chrome/55.0.2883.75 Safari/537.36'}
    #构造url
    url='https://www.qidian.com/all/page{}/'.format(str(page))
    #获取网页源代码
    sources = rq.get(url,headers = header)
    soup=bs(sources.content,'lxml')
    #获取标题，定位标签为h4
    info1=soup.find_all('h4')
    #获取p标签里面作者信息，包括作者名字、风格、状态
    info2=soup.find_all('p',class_="author")
    #获取小说简介
    info3=soup.find_all('p',class_="intro")
    save_all=[]#保存数据
    for i,j,k in zip(info1,info2,info3):
        fiction={}
        fiction['标题']=i.get_text()
        fiction['作者']=j.get_text().split('|')[0].strip()#去两个空格
        fiction['风格']=j.get_text().split('|')[1]
        fiction['状态']=j.get_text().split('|')[2]
        fiction['简介']=k.get_text().strip()
        save_data.append(fiction)
        save_data1=pd.DataFrame(save_data)#一页数据
    save_all.append(save_data1)#得到完整数据
    save_all1=pd.concat(save_all)
    save_all1.index=range(save_all1.shape[0])#重置索引
    save_all1.to_csv('轻点小说中文网.csv',encoding='utf_8_sig')#保存为csv文件
    


